鲁南姝/Millán合著Device综述：虚拟现实-脑电集成技术及其在脑机接口中的应用 | Cell Press论文速递

物质科学

Physical science

将虚拟现实（VR）与脑电图（EEG）相结合，即VR-EEG系统，可以在沉浸式互动环境中实时监测大脑的活动，具有推动脑机接口（BCI）发展的极大潜能。然而，要实现高信号质量、长期舒适性和易用性，仍然面临众多挑战。

鉴于此，得克萨斯大学奥斯汀分校的鲁南姝教授、José del R. Millán教授团队近日在Cell Press细胞出版社旗下期刊Device上发表了一篇题为“Combining VR with electroencephalography as a frontier of brain-computer interfaces”的综述论文，概述了VR-EEG系统的发展及其在BCI领域的应用前景，深入探讨了如头发兼容性和VR头显集成等带来的机遇和挑战，并指出了未来的发展方向。

▲长按图片识别二维码阅读原文

脑电图（EEG）是一种记录头皮表面大脑电活动的非侵入性技术，已广泛应用于包括睡眠监测、认知和大脑功能评估、探测大脑状态以及神经疾病的临床诊断和治疗。此外，EEG还用于临床和非临床上脑-机接口（BCIs）中，使用户能够通过调节大脑活动来操纵物理或虚拟环境。EEG与VR相结合可以实时监测用户在虚拟环境互动时的大脑活动，用于研究人类在虚拟环境中的认知过程。VR-EEG系统能够将大脑活动作为直接、实时和定量的用户状态信息源，将精神领域添加到现代VR系统的多模传感器套件中。因此，EEG与VR技术之间的整合技术引起了研究人员、临床医生、VR开发人员和用户的共同关注。

分体式VR头显和EEG监测系统

大多数现有的VR-EEG研究是使用独立的VR和EEG硬件实现的，即先将EEG电极帽固定到位，然后将VR头显戴在EEG电极帽上。Ag-AgCl湿电极由于具有头发兼容性、信号完整性且对运动虚迹具有一定耐受性，一直作为脑电图测量的金标准（图1A和1B），但存在如安装时间长、不易清除等问题。而且，湿电极会随时间推移而脱水，影响其长期记录性能。基于盐溶液浸泡海绵的半干电极是一种介于湿电极和干电极之间的电极，具有安装快速且易移除的优点（见图1C和1D），但是其同样面临在使用过程中失水的问题。为了保持电极具有低的阻抗，需定期补充盐溶液，限制了其在实际中的应用。干电极具有安装简便、迅速的优点，且不存在脱水问题，适合于长期使用和实验室外的应用场景（见图1E和1F）。

图1 分体VR头显与EEG设备示例

商用集成式VR-EEG系统

与独立式VR和EEG设备相比，集成式VR-EEG具有快速佩戴、舒适性高以及沉浸式互动体验强等优点。目前大多数商用集成式VR-EEG系统采用基于导电聚合物的梳状干电极。这些电极可以穿过头发到达头皮，从而记录头发覆盖区域的脑电信号。然而，这些干电极具有较高的接触阻抗，需要在电极上原位连接放大器降噪以得到较好的信号质量。此外，这些干电极与皮肤之间的界面不太稳定，容易在运动状态下产生伪迹，影响了VR-EEG在运动状态下的使用。

图2 商用集成式VR-EEG系统示例

研究中的集成式VR-EEG系统

研究中的VR-EEG系统可以为未来商业化的VR-EEG产品奠定基础，尤其是新型脑电图电极的开发，可以为未来商用VR-EEG提供新的可能，例如可以获得更稳定的信号质量。金属微针阵列电极能够穿透角质层，从而提供更低且更稳定的接触阻抗，进一步实现可靠的脑电图记录。但是其存在感染风险。利用导电液体穿过头发到达皮肤并原位固化形成的凝胶电极可以与皮肤形成稳定的接触界面，而且具有和皮肤相匹配的力学性能。因此，该类凝胶电极为VR-EEG系统提供了一种极有前景的新的选择（图3）。研究型脑电图电极在结构设计上具有多样性，并且具有良好的电极-皮肤接触界面。值得注意的是，在开发这些电极时，必须在性能、制造难易度和材料的整体成本效益之间取得平衡。

图3 文献中报道的VR-EEG系统

VR-EEG系统在脑机接口(BCI)中的应用

在分析了VR-EEG硬件之后，作者也深入探讨了其在BCI中的应用，评估了基于VR-EEG的BCI在娱乐、教育和培训领域的应用。在娱乐领域，该系统的潜力在热门多人游戏《魔兽世界》中得到了展示。教育和培训领域也有BCI概念性验证的报道，其中BCI检测用户反馈该系统能够帮助他们保持专注，BCI可以评估用户的实时认知程度，以确定学习进展。VR-EEG和运动想象（MI）BCI在神经康复方面也具有益处。在沉浸式VR环境下进行BCI训练可以使健康受试者能够更好地调节感觉运动节律。VR-EEG和BCI的结合也能扩展到更广泛的医疗应用场景，例如监测受试者注意力水平并控制虚拟现实认知训练程序的BCI，提高患有注意力缺陷多动障碍儿童的注意力水平等。

VR-EEG系统目前存在的挑战

头发兼容性

来自头发覆盖区域的EEG信号对许多BCI应用至关重要。目前，头发兼容的EEG电极包括湿电极、半干电极和梳状干电极，每种电极都有其优缺点。目前尚未有一种电极具备所有理想特性。例如能够在头发覆盖区域长期稳定地记录EEG信号，同时具备简便的可安装和拆卸性。

EEG电极与VR头显的无缝集成

实际应用过程中将头发兼容的EEG电极与VR头显集成制备VR-EEG系统仍需要攻克许多技术难关。例如，尽管一些EEG电极本身较软，但其支撑层力学柔性不佳，从而导致头皮受到额外的压力，降低用户舒适度。然而，消除压力又使得电极可能无法与头皮建立稳定的接触界面。此外，为无发区设计的EEG电极虽然可以集成到VR头显面罩中，但是其自身柔性有限，降低了VR头显面罩的舒适性。

无线VR-EEG系统

目前大多数VR-EEG系统仍基于有线连接。但考虑到VR交互通常涉及用户的移动，且有线电缆可能会带来安全隐患并降低沉浸感，无线VR-EEG系统被认为是更理想的选择。为了实现这一目标，无线VR-EEG系统开发者应考虑设计低功耗电路，以匹配VR系统日益增长的电池续航能力。；通过优化数据缓存、传输功率和频率以及天线布置来减少EEG数据包丢失；提升无线记录触发器的精度，以将EEG样本与VR环境中的事件相匹配。

有限的EEG记录位置

大多数VR-EEG系统仅具备有限的电极通道位置，通常分布在顶叶、前额叶和枕叶区域。当前所有的VR-EEG系统设计都无法全面测量整个头部的脑活动，因此无法实现多脑区EEG模式分析和修改的复杂神经反馈。此外，低且不均匀的通道覆盖还限制了传统EEG空间滤波或通道插值技术以及源成像方法的使用，而这些技术对于高级解码器乃至神经科学研究却至关重要。

未来方向与展望

图4  VR-EEG 设备的未来机遇

基于上述的问题和挑战，作者总结了VR-EEG系统未来重点研究的方向：

其一，VR-EEG系统的挑战主要集中在EEG电极上，解决之道在于新型电极的设计与开发，使得电极能够与皮肤形成稳定、紧密的接触界面，同时具有可以快速安装和方便清除。此外，改进设计或结构并将这些电极无缝集成到VR头显中，对于创建舒适且有效的VR-EEG系统至关重要。

其二，VR-EEG系统需要整合多模态，实现对脑活动、眼动、心跳、压力水平和面部表情等多重交互信息的收集和反馈。此外，确保多模态传感器和VR元素之间的实时同步是实现沉浸式用户体验的必要条件。

其三，闭环VR-EEG系统的开发。VR神经反馈可以与闭环神经刺激相结合，提升脑功能的可塑性和恢复效果，可实现VR-EEG系统在BCI领域的应用拓展。这些系统可以帮助临床医生更好地理解中风后运动恢复的潜在机制，开发以患者为中心的神经康复程序，通过远程监测脑功能的实时变化，开展干预措施的优化和改进。

相关论文信息

论文原文刊载于Cell Press细胞出版社

旗下期刊Device上，

点击“阅读原文”或扫描下方二维码查看论文

▌论文标题：

Combining VR with electroencephalography as a frontier of brain-computer interfaces

▌论文网址：

https://www.sciencedirect.com/science/article/abs/pii/S2666998624002680

▌DOI：

https://doi.org/10.1016/j.device.2024.100425

▲长按图片识别二维码阅读原文

经过50年的不懈努力，Cell Press细胞出版社的编辑与全球的作者、审稿人一起，创办了一系列优秀出版物，未来我们也将不断深耕科研创新和科学信息的传播交流，启迪更多科学新发现。

CellPress细胞出版社

推荐阅读

▲长按识别二维码关注细胞科学